Inteligența artificială scapă de sub control în companii. „Agenții haosului” provoacă primele incidente majore. Care este soluția?

Ceea ce până recent părea un scenariu desprins din filmele SF începe să devină o problemă reală pentru companii: sisteme de inteligență artificială autonome care iau decizii neprevăzute și provoacă daune majore infrastructurilor digitale.

Un agent AI poate executa mii de acțiuni într-un timp foarte scurt/FOTO:Shutterstock

În doar nouă secunde, ani întregi de muncă au fost șterși complet din sistemele unei companii tehnologice americane. Jer Crane, fondatorul start-up-ului PocketOS, și-a dat seama aproape instantaneu că se produsese un incident grav.

În dimineața unei zile de sâmbătă, firmele de închirieri auto care foloseau platforma PocketOS au descoperit că toate datele privind rezervările și alocarea vehiculelor dispăruseră. Bazele de date fuseseră șterse integral.

Potrivit lui Crane, problema a fost provocată de un agent AI utilizat prin intermediul platformei de programare Cursor, bazată pe modelul Claude al companiei Anthropic.

Botul ar fi încercat să elimine o eroare software folosind o „scurtătură”, însă în proces a distrus întreaga bază de cod și toate copiile de siguranță.

„Fiecare nivel al acestui eșec a afectat oameni care nici măcar nu știau că așa ceva este posibil”, a declarat Crane.

Mai mult, explicația oferită ulterior de agentul AI a amplificat îngrijorările. Sistemul ar fi transmis că ștergerea bazei de date reprezenta „cea mai distructivă și ireversibilă acțiune posibilă” și că nimeni nu îi ceruse explicit să facă acest lucru.

De la science-fiction la risc operațional

Ideea unor programe AI care „ies din parametri” în interiorul companiilor a fost, mult timp, un subiect rezervat ficțiunii. Astăzi însă, experții în securitate cibernetică avertizează că fenomenul devine tot mai frecvent pe măsură ce firmele oferă sistemelor autonome acces extins la infrastructuri critice.

Profesorul Alan Woodward, specialist în informatică la Universitatea Surrey, afirmă că numeroase organizații permit deja inteligenței artificiale să gestioneze baze de date, procese operaționale sau chiar fluxuri financiare.

„Dacă îi spui unui sistem AI să <<aranjeze>> o bază de date, acesta poate decide că cea mai simplă soluție este să o șteargă complet”, avertizează el.

Popularitatea noilor instrumente de tip „vibe coding”, care permit dezvoltarea aplicațiilor prin simple instrucțiuni scrise în limbaj natural, accelerează fenomenul. În paralel, așa-numiții „agenți AI” sunt utilizați tot mai des pentru automatizarea unor procese complexe, cu supraveghere umană minimă.

„Agenți ai haosului”

Un studiu realizat de cercetători de la Harvard, Stanford și MIT descrie aceste sisteme drept „agents of chaos” — agenți ai haosului.

Cercetarea arată că, atunci când primesc prea multă autonomie, agenții AI pot divulga informații sensibile, pot interpreta greșit comenzile sau pot fi manipulați de atacatori care se dau drept utilizatori legitimi.

Incidente similare au fost raportate și în companii mari din sectorul tehnologic.

Potrivit Financial Times, divizia AWS a Amazon ar fi fost afectată anterior de două pene de serviciu cauzate de ștergerea accidentală a unor segmente de cod de către un agent AI. Amazon a atribuit însă problemele „erorii umane”, nu inteligenței artificiale.

Într-un alt caz, Summer Yue, membră a echipei de siguranță AI de la Meta, a relatat că un bot personal bazat pe OpenClaw a început să îi șteargă emailurile în timp ce aceasta era departe de computer.

„Nu îl puteam opri de pe telefon”, a explicat ea.

Viteză imposibil de controlat

Una dintre cele mai mari probleme, spun specialiștii, este viteza cu care acționează aceste sisteme.

Spre deosebire de un angajat sau de un hacker uman, un agent AI poate executa mii de acțiuni într-un timp foarte scurt, fără ca operatorii să poată interveni la timp.

În plus, mulți programatori lasă agenții AI să ruleze autonom ore întregi, inclusiv în timpul nopții sau în absența lor, ceea ce crește riscul producerii unor erori majore.

„Pot acționa cu o viteză la care oamenii pur și simplu nu mai pot reacționa”, explică profesorul Woodward.

Experții avertizează că firmele se confruntă acum cu o nouă categorie de amenințare internă. Dacă înainte pericolul venea din partea angajaților nemulțumiți sau a hackerilor, acum un sistem AI configurat greșit poate produce singur pagube semnificative.

Companiile, nepregătite

Potrivit unui raport Deloitte, aproximativ 85% dintre companii analizează implementarea agenților AI, însă doar una din cinci are reguli clare privind utilizarea acestora.

Unele organizații încearcă să limiteze numărul de acțiuni pe care un agent le poate executa fără aprobare umană sau introduc mecanisme suplimentare de validare pentru operațiunile sensibile.

Totuși, specialiștii spun că soluția pe termen lung ar putea fi paradoxală: folosirea altor sisteme AI pentru monitorizarea și blocarea agenților care devin periculoși.

James Campbell, vicepreședinte al companiei de securitate cibernetică Darktrace, afirmă că viitorul apărării digitale va presupune „lupta AI contra AI”.

„Ironia este că singura modalitate prin care putem reacționa suficient de rapid este automatizarea”, spune el. „Va trebui să folosim inteligența artificială pentru a combate inteligența artificială.”